ประสิทธิ์ พยอมยงค์หัดเล่นเปียโนจากชัยวัฒน์ เลาหบุตร น้าชาย มาตั้งแต่อายุ 10 ปี แต่ประสิทธิ์เองมีปัญหาคือรูปร่างเล็ก และนิ้วมือสั้น ทำให้เล่นเปียโนคลาสสิกได้ไม่ดีนัก ทำให้ต้องหันไปหาการเล่นการเล่นเปียโนในแนวป๊อบปูล่าแทน ส่วนการเล่นดนตรีอย่างจริงจังนั้น เริ่มเมื่อเรียนอยู่ที่มหาวิทยาลัยธรรมศาสตร์ โดยได้รวมพรรคพวกเพื่อตั้งวงดนตรีของมหาวิทยาลัย ตามที่นิยมตั้งในขณะนั้น สำหรับการอยู่ในวงดนตรีมหาวิทยาลัยครั้งนี้ ประสิทธิ์ได้พบกับจำนรรจ์ กุณฑลจินดา อดีตหัวหน้าวงดนตรีกรรณเกษมด้วย

ส่วนงานดนตรีที่เป็นอาชีพหลักนั้น เริ่มต้นเมื่อระยะหลังสงครามโลกครั้งที่ 2 ราว พ.ศ. 2489 เนื่องจากมหาวิทยาลัยธรรมศาสตร์ปิดทำการในระยะสงครามและเกิดสถานบันเทิงมากขึ้น ทำให้ประสิทธิ์หันไปเล่นดนตรีตามสถานบันเทิงเหล่านั้น โดยมีผู้ชักชวนคือ ครูไสล ไกรเลิศ ครูเพลงที่ปั้นสุเทพ วงศ์กำแหง และ ชรินทร์ นันทนาครขึ้นมา ในขณะนั้นประสิทธิ์ พยอมยงค์มีอายุได้เพียง 20 ปี

ประสิทธิ์ พยอมยงค์เริ่มชีวิตการเป็นนักดนตรีครั้งแรกที่ภัตตาคารห้อยเทียนเหลา หรือ หยาดฟ้าภัตตาคาร โดยมีเพื่อนร่วมวงคือ จำนรรจ์ กุณฑลจินดา ฮอน หาญบุญตรง สมาน กาญจนะผลิน ธนิต ผลประเสริฐ เวส สุนทรจามร และ เฉลียว คีติกานต์ ชาวฟิลิปปินส์ สำหรับเพลงที่เล่นมักจะเป็นเพลงลีลาศเป็นส่วนใหญ่

หลังจากที่เล่นที่ห้อยเทียนเหลามาได้ระยะหนึ่ง ประสิทธิ์ พยอมยงค์ได้ร่วมกับพรรคพวกตั้งวงดนตรีกรุงเทพสวิงขึ้นมา เพื่อบรรเลงส่งกระจายเสียงไปยังสถานีวิทยุ จ.ส.ของพันเอกการุณ เก่งระดมยิง โดยได้รวบรวมนักดนตรีไว้หลายคน เช่น อุทิตต์ ทินกร ณ อยุธยา เกษม ชื่นประดิษฐ์ สุนทรียา ณ เวียงกาญจน์ ในระยะนี้เองประสิทธิ์ พยอมยงค์เริ่มแต่งทำนองเพลงแล้วมีเพื่อนร่วมวงเป็นผู้ใส่เนื้อร้อง จนกลายเป็นที่นิยมต่อมาอีกหลายเพลง

ประสิทธิ์ พยอมยงค์เริ่มทำงานประจำในช่วงนี้ ควบคู่ไปกับการเล่นดนตรี โดยทำงานที่บริษัทแผ่นเสียง ย่านวังบูรพา โดยได้เป็นผู้ดูแลการสั่งเข้าแผ่นเสียง และควบคุมห้องบันทึกเสียงด้วย เช่น บริษัท อัศวินการละคร และแผ่นเสียง, บริษัท ดีคูเปอร์ แอนด์ยอห์นสัน และ บริษัท แบล๊คแอนด์ไว้ท์ ซึ่งการทำงานในวงการแผ่นเสียงนี้เอง ทำให้โลกดนตรีของประสิทธิ์กว้างขึ้นกว่าเดิม และได้รู้จักกับคนในวงการดนตรีมากขึ้น

ใน พ.ศ. 2496 พ.ต.อ.พุฒ บูรณสมภพได้ตั้งวงดนตรีประสานมิตรขึ้น ประสิทธิ์ พยอมยงค์ได้เข้าไปเป็นนักดนตรีอยู่ในวงนั้น พร้อมกับพรรคพวกเดิม และใหม่หลายคน เช่น สมาน กาญจนะผลิน สง่า ทองธัช ม.ร.ว.พรพุฒิ วรวุฒิ มาโนช ศรีวิภา เล็ก ชะอุ่มงาม และ ชาลี อินทรวิจิตร แต่วงดนตรีประสานมิตรอยู่ได้ไม่นานก็สลายตัวไป เนื่องด้วยเหตุผลทางการเมือง ประสิทธิ์ พยอมยงค์และ จำนรรจ์ กุณฑลจินดา จึงฟื้นวงดนตรีใหม่ เปลี่ยนชื่อเป็นวงดนตรีกรรณเกษม ได้ สมาน กาญจนะผลิน และ ไพบูลย์ ลีสุวัฒน์มาร่วมวง

ประสิทธิ์ พยอมยงค์เคยเดินทางไปร่วมแสดงเพื่อกระชับสัมพันธ์กับจีนแดง โดยร่วมคณะกับสุวัฒน์ วรดิลก และ เพ็ญศรี พุ่มชูศรี ใน พ.ศ. 2500 เมื่อกลับมาแล้วต้องต่อสู้คดีคอมมิวนิสต์พักหนึ่ง ใน พ.ศ. 2502 จึงได้เข้ารับราชการที่วงดนตรีกรมประชาสัมพันธ์ ร่วมกับ ครูเอื้อ สุนทรสนานแต่อยู่ได้เพียง 3 ปี ประสิทธิ์ก็ลาออกไปอยู่วงดนตรีเทศบาลกรุงเทพกับสุทิน เทศารักษ์ จนกระทั่ง พ.ศ. 2512 จึงได้ลาออก และไปเรียนวิชาเรียบเรียงเสียงประสานกับแมนรัตน์ ศรีกรานนท์ รุ่นเดียวกับ นริศร ทรัพยะประภา และ ชัยยุทธ เวชสวรรค์ พร้อมกับเข้าสอนที่นั่น จึงยุติการเล่นดนตรีตามไนต์คลับ และสอนมาจนกระทั่งอายุมากจึงเลิกสอนไป